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(g) Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn 
@ Bel einem Verfahren zur Ermittlung eines Spurverlaufs 

einer beidseitig helle oder dunkle Spurbegrenzungslinien 

(6, 7) aufweisenden dunklen bzw. hellen Fahrbahn (1) aus 

einem uber die Fahrbahn (1) fahrenden Fahrzeug (2) lle- 

fert mindestens eine Kamera (3) in bestinnmten Zeitinter- 

vallen ein Bild (5) eines vor dem Fahrzeug liegenden Au- 

f^enraums an eine Bildverarbeitungseinrichtung (4). Die 

Blldverarbeitungseinrichtung (4) ermittelt bel den Spur- 
begrenzungslinien (6) in Abhangigkeit von zumindest ei- 
nem Lenkwinkel sowie einer momentanen Geschwindig- 

keit des Fahrzeugs (2) und einem vorgegebenen Fahr- 

zeuglage- und Spurverlaufsmodell signifikante Hell-Dun- 

kel-Grenzen (8) model Igestiitzt sowie einen von zwei si- 

gnifikanten Hell-Dunkel-Grenzen (8) begrenzten Linienbe- 

reich zeilenwetse. Messkandidaten (9) der Hell-Dunkel- 

Grenzen (8) werden von der Bildverarbeitungseinrichtung 

(4) in jeweils mindestens einem modellgestutzten und 
^ merkmalsbasierten Zustandsschatzverfahren (10, 15) zu 
<J Zustandsvektoren verarbeitet, die die Fahrzeuglage und 

den Spurverlauf beschreiben. Eine Inferenzmaschine (13) 
^ ermittelt aus diesen Zustandsvektoren die Ist-Daten des 
CO Spurverlaufs und vergleicht, beu'rteilt und korrigiert ggf. 
w das model Igestutzte sowie das merkmatsbasierte Zu- 

standsschatzverfahren (10, 15) anhand der vorgegebenen 
N Oaten. 
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Beschreibung 

[0001] Die Erfindung bezfeht sich au( ein Verfahren zur 
Hrmittlung eines SpiJrverlaufs einer beidseitig helle oder 
dunkle Spurbegrenzungslinien aufweisenden dunklen bzw, 5 
hellen Fahrbahn aus einem uber die Fahrbahn fahrenden 
Fahr/cug sowie auf eine Vorrichlung zur Durchfuhrung die- 
ses Vcrl'ahrcns. 

[0002 1 Alls dcr Dl : 43 08 776 C2 ist eine Einrichtung zum 
tibcrwuchcn dcs AuBcnraums eines Kraftfahrzeugs, das lO 
iiber cine ilurch ausgciichnte weiBe Linien begrenzte Fahr- 
spur Ilihrt. hckunni. Die liinrichtung uinfasst mehrere Ka- 
meras, die Bildcr dcs I 'ahr/cugauBenraums aufnehmen und 
Bildsignulc cr/.cugcn. die dicse Bilder anzeigen, und eine 
Bildvcrdrhcilungscinrichlung. Die Bildverarbeitungsein- 15 
richiung enniiicli in Abhiingigkeit von den Bildsignalen 
eine Di-sian/.vcncilung bc/.uglich des Fahrzeugs und erzeugt 
cin die Disiany.vcrlcilung an/.cigcndcs Distanzbild. Im Wci- 
teren ist cine StraBen- und Objekt-Detektoreinrichtung vor- 
gesehen. die auf dcr Grundlage des Distanzbildes drddi- 20 
mensionalc Koordinaicn in einem auf ein Koordinatensy- 
stem des Kraftfahr/eugs bczogenen realen Raum berechnet. 
Femer isi eine SlraBenverlaufsform-Detektoreinrichtung 
vorgesehen, die eine Su-aBcnverlaufsform auf der Grundlage 
der dreidiiiiensionalen Koordinalen von Abschnitlen der 25 
weiBen Linie berechnel. Hierbei werden als Ausgangssi- 
gnale die Fahrzeuggesch windigkeit und ein Lenku'inkelsen- 
sorsignal sowie ein Erkennungsergebnis einer StraBenform 
einer leizten 2^itspanne zugrundegelegt, um eine SUraBen- 
form nach einer bestiminten Zeitspanne abzuschatzen. Bei 30 
diesem Verfahren ennittelt die StraBenverlaufsform-Detek- 
toreinrichtung mehrere dreidimensionale lineare Elemente, 
die jeweils einen Abschnilt jeder weiBen Linie innerhalb ei- 
ner von mehreren Regionen der SU'aBe reprasentieren, wo- 
bei die Regionen bezogen auf die Distanz vom Fahrzeug 35 
aufgeteilt sind und jede weiBe Linie durch die Kombination 
der dreidimensionalen linearen Elemente dargestellt ist. Je- 
des der dreidimensionalen linearen Elemente wird durch li- 
neare Gleichungen reprasentierU die die Projektion des drei- 
dimensionalen Elements auf eine horizontale und eine verti- 40 
kale Ebene reprasentieren. 

[0003] Weiterhin weist die StraBenverlaufsform-Detektor- 
einrichtung eine Abschatzungseinrichtung auf, die in Ab- 
hangigkeit von den Fahrzeugfahrbedingungen die Anderung 
der dreidimensionalen linearen Elemente aus deren voraus- 45 
gehenden Positionen abschatzL Eine erste Erzeugungsein- 
richtung legt ein erstes dreidimensionales Fenster fest und 
schStzt einen dreidimensionalen Raum um jedes der abge- 
sch^ten dreidimensionalen linearen Elemente. Eine Line- 
arelement-Detektoreinrichtung extrahiert aus den dreidi- SO 
mensionalen Koordinaten nur die Koordinaten, die inner- 
halb des ersten dreidimensionale Fensters liegen und be- 
rechnet die gegenwartige Position des dreidimensionalen li- 
nearen Elements auf der Grundlage. der extrahierten Koordi- 
natendaten. 55 
[0004] Die StraBenverlaufsform wird modellbasiert in li- 
neare Abschnitte von jeweils einer bestimmten Distanz auf- 
geteilt und die Plausibilitat aus der Parallelitat dieser Ab- 
schnitte in horizontaler und veitikaler Richtung, bezogen 
auf Messergebnisse fur den Unken als auch den rechten Ab- 60 
schnitt, beurteilt. Die Messergebnisse und die festgelegten 
linearen Abschnitte werden nach voigegeben B^echnungs* 
methoden miteinander verglichen und gewichtet sowie kor- 
rigiert. Mit dieser Einrichtung ist es nach der Verarbeitung 
cincr rclativ groBcn Datcnmcngc moglich, durch Ausnutzcn 65 
dreidimensionaler Positionsinformadonen der weiBen Li- 
nien diese von dreidimensionalen Objdaen zuverlassig zu 
trennen. 
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[0005] DarOber hinaus ist ein Verfahren zur AbschStzung 
eines Spurverlaufs einer Fahrbahn bekannt (Dissertation 
Dipl.-Ing. B, Mysliwetz, Universitat der Bundeswehr Miin- 
chen, 10.08.1990), da.s zur Unterscheidung zwischen einem 
optischen Signal einer weiBen Spurbegnenzungslinie und 
Storungen ein dynamisches Modell von Fahrzeugquerbewe- 
gungen und einer Spurverlaufsgeonieuie verwendet. Dieses 
dynamische Model! ermoglicht eine Formuiierung einer Er- 
wartung Uber die Lage und die Orientierung der Spurbe- 
grenzungslinie in einem Videobild. Hierbei wird eine Kante 
der Spurbegrenzungslinie gezielt in ihrer erwarteten Lage 
im Videobild miUels signalangepasster Filterkeme gesucht. 
Die erwartete Lage und die Orientierung der Spurbegren- 
zungslinie werden durch physikalische und logische Gro- 
Ben, die den aktuellen Zustand, in dem sich Fahrzeug und 
Spurverlauf befinden, beschrieben. Diese relevanten GroBen 
werden durch die aktuelle Fahrzeuglage sowie dessen Quer- 
dynamik und Gcsch windigkeit und bckanntcn Datcn iibcr 
Spurverlaufe und SUraBenattribute gewonnen. Der Unter- 
schied zwischen der erwarteten Lage und der gemessenen 
Lage der Spurbegrenzungslinie wird unmittelbai; d. h. ohne 
die perspektivische Abbildung zu invertieren, im Rahmen 
eines Optimalfilters, eines Kalman Filters, auf den erwarte- 
ten Farzeuglage- und Spurverlaufszustand aufgeschlagen. 
Die Messung ini Videobild korrigierl somit lediglich die 
modellbasierte Erwartung oder eine zu Beginn der Messun- 
gen formulierte Hypodiese uber den Anfangssch^tzwert. 
Dieses rekursive Verfahren ist ein Spurverfol^ungsverfah- 
ren, das auf die Ergebnisse einer sequendell vorausgehen- 
den Spurentdeckungsphase angewiesen ist. 
[0006] Fem«: wurde an der Carnegie Mellon University, 
Pittsburgh, USA, ein Verfahren (RALPH, Rapidly Adapting 
Lateral Position Handler) entwickelt, das die ModeUierung 
von Fahrzeugquerbewegungen und Spurverlaufsgeometrie 
vermeidet, um von der speziellen Ausbildung der Spurver- 
laufsgeometrie sowie der Spurbegrenzungslinie und damit 
auch der Art der jeweils angepassten extraktionsMiigen 
Merkmale unabhangig zu bleiben. Bei diesem Verfahren 
wird damit aber auch auf die Auswertung der querdynami- 
scben zeitlicfaen Zusammenh^ge zwischen aufeinanderfol- 
genden Videobildem verzichtet Es konzentriert sich ledig- 
lich auf die Auswertung des jeweiiigen Einzelbildes. Wegen 
der Notwendigkeit den Zustand in jedem Videobild kom- 
plett neu berechnen zu mussen, handelt es sich hierbei pri- 
mar um ein merknialsbasiertes Spurerkennungs verfahren. 
[0007] Die Praxis zeigte, dass weder das an der Universi- 
tat der Bundeswehr entwickelte Spurverfolgungs verfahren 
noch das von der Carnegie Mellon UnivCTsity verfolgte 
Spurerkennungs verfahren jeweils in isolierter Anwendung 
in der Lage ist, die komplexe Szene des Fahrzeugumfeldes 
hinsichtlich des Spurvmrlaufs einer Fahrbahn zufriedenstel- 
lend zu ermitteln. 

[0008] Es ist Aufgabe der Erfindung, ein Verfahren der 
eingangs genannten Art und eine Vorrichtung zu schaffen, 
wobei mit einem relativ geringen Rechenaufwand einen 
Spurverlauf einer Fahrbahn mit hinreichrader Genauigkeit 
ennittelt werden solL 

[0009] BrfindungsgemMfi wird die Aufgabe durch ein Ver- 
fahren zur Ermitdung eines Spurverlaufs einer beidseitig 
helle Oder dunkle Spurbegrenzungslinien aufweisenden 
dunklen bzw. hellen Fahrbahn aus einem uber die Fahrbahn 
fahrenden Fahrzeug gelost, bei dem 

- mindestens eine Kamera in bestinmiten Zeitinterval- 
Icn cin Bild cincs vor dem Fahrzeug licgcndcn AuBcn- 
raums an eine Bildverarfoeitungseinrichtung liefert, 

- die Bildverarbeitungseinrichtung bei den Spmbc- 
grenzungslinien in Abhangigkeit von zumindest einem 
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Lenkwnkel sowie einer momentanen Geschwindigkeii 
des Fahrzeugs und einem vorgegebenen Fahrzeuglage- 
und Spurverlaufsmodell signifikante Hell-Dunkel- 
Grenzen model Igestutzr sowie einen von zwei signifi- 
kanten Hell-Dunkel-Grenzen begrenzten Linienbe- 5 
reich zeilenweise ermittelt, 

~ Messkandidaten der Hell-Dunkel-Grenzen von der 
Bildverarbeitungseinrichlung in jeweils mindestens ei- 
nem modellgestutzten und merkmalsbasierten Zu- 
standsschatzverfahren zu 2^standsvektoren verarbeitet lO 
werden, die die Fahrzeuglage und den Spurverlauf be- 
schreiben und 

- eine Inferenzmaschine die Zustandsvektoren und da- 
mit Ist-Daten des Spurverlaufs ermittelt sowie das mo- 
dellgestutzte und das merkmalsbasierte Zustands- 15 
schatzverfahren anband vorgegebener Daten vergleicht 
und beurteilt. 

[0010] Die Merkmale einer erfindungsgemaBen Vorrich- 
tung ergeben sich aus Patentanspruch 11. 20 
[0011] Aufgrund dieses Verfahrensablaufs wird ein Spur- 
verlauf einer Fahrbahn mil einer relativ hohen Genauigkeit 
ermittelt, da in der Bildverarbeitungseinrichtung jedes von 
der Kamera gelieferte Bild nach mehreren Zustandsschatz- 
verfahren, naiidich sowohl nach mindestens eineiii iiiodell- 25 
gestutzten Spurverfolgungsverfahren als auch nach minde- 
stens einem merkmalsbasierten Spurerkennungsverfahren, 
im wesentlichen parallel ausgewertet wird. Diesen Zu- 
standsschatzverfahren liegen Messkandidaten zugrunde, die 
die Bildverarbeitungseinrichtung zum einen anhand von 30 
Kantemnerkmalen, die an den signifikanten Hell-Dunkel- 
Grenzen, die am tJbcrgang der hellen Spurbegrenzungslinie 
zu dem relativ dunklen Fahrbahnbelag vorliegen und an- 
hand von linienformigen Merkmalen, die durch im wesent- 
lichen gegeniiberliegende Hell-Dunkel-Grenzen definiert 35 
sind, ermittelt 

[0012] Diese Messkandidaten werden in den Zustands- 
schalzverfahren zu Fahrzeuglage und Spurverlauf beschrei- 
benden Zustandsvektoren verarbeitet, die rechnerintemen 
Reprasentanten des physikalischen Prozesses der Fahrzeug- 40 
querbewegung auf ein^ beliebig gekriimmten Strafie ent- 
sprechen. Hierzu greift das modellgestiitzte Spurverfol- 
gungsverfahren auf Informationen iiber Spuigeometrien und 
den Fahrzeugzustand zurtick, wobei das Signal eines Lenk- 
winkelsensors und die aktuelle Fahrzeuggeschwindigkeit le- 45 
diglicb Minimalinformationen darstellen. Bei der modeUge- 
sliitzten Ermittlung von Zustandsvektoren konnen beispiels- 
weise ein Schwimmwinkel des Fahrzeugs, also der Winkel 
zwischen der Fahrzeuglangsachsc und der Bewegungsrich- 
tung, die Querablage des Fahrzeugs, ein Gienvinkel, also 50 
der Wnkel zwischen Fahrzeuglangsachse und Fahrbahntan- 
gente, der in der Ebene der Fahrbahn gemessen wird, sowie 
ein Nickwinkel, also dec Wnkel zwischen Fahrzeuglangs- 
achse und Fahrbahntangente, gemessenen in der zur Fahr- 
bahn senkrechten Ebene beriicksichtigt werden. Hinsicht- 55 
lich der Spurverlaufsgeometrie werden Attribute, wie Spur- 
kriimmungen und ihr Anderungsverhalten sowie unter- 
schiedliche Arten von Spurbegrenzungslinien, berUcksich- 
tigt. 

[0013] Auf Grundlage dieser Informationen spannt das 60 
modeUgestutzle Spurverfolgungsverfahren Suchfenster in 
dem Bereich auf, in dem eine Spurbegrenzungslinie vermu- 
tet wird und sucht nach den signifikanten Hell-Dunkel- 
Grenzen, die am Ubergang der in der Regel hellen Spurbe- 
grenzungslinie zu dem relativ dunklen Fahrbahnbelag vor- 65 
liegen. Dadurcb ist es nicht erforderlich, das gesamte Bild 
auszuwerten, sondem lediglich den Bereich, in dem die 
Spurbegrenzungslinie aufgrund der dynamischen Modellie- 


rung vermuiet wird. Dieses modellgestiitzte Spurverfol- 
gungsverfahren hat den Vorteil einer relativ zuverlassigen 
Rauschunterdriickung, jedoch auch den Nachteil, dass bei 
zu groBen gemessenen Abweichungen von Model Ivorstel- 
lungen der Rechenprozess divergieren kann und instabil 
wird. Daher laufl als Redundanzverfahren das merkmalsba- 
sierte Spurerkennungsverfahren ab, das ein Detektionsver- 
fahren ist und im Wesentlichen eine Biidauswertung vor- 
nimmt. Das Spurerkennungsverfahren liefert auch in relativ 
groBer Entfemung zur Kamera des Fahrzeugs zuverlassigere 
Messkandidaten als das modellgestiitzte Verfahren. 
[0014] Die die Ist-Daten des Spurverlaufs ermittelnde In- 
ferenzmaschine vergleicht und beurteilt anhand vorgegebe- 
ner Daten das modellgestiitzte und das merkmalsbasierte 
Zustandsschatzverfahren und beriicksichtigt hierbei die un- 
terschiedlichen Starken und Schwachen der Verfahren. Bei 
einem pl^tzHchen Spurwechsel Oder einer fehlenden Spur- 
begrenzungslinie greift die Inferenzmaschine auf ihre ci- 
gene Daten- und Regelbasis und/oder die Zustandsvektoren 
aus der modellgestutzten ErmitUung der Hell-Dunkel 
Grenze der Spurbegrenzungslinie zuriick und greift unter- 
stiitzend in die Bildverarbeitungseinrichtung ein, wobei die 
Inferenzmaschine bidirektional arbeitet. Die Inferenzma- 
schine liefert die ermittelten Ist-Daten des Spurverlaufs an 
sogenannle Fahrzeugassistenzsysteme. Ein solches Fahr- 
zeugassistenzsystem kann beispielsweise die Geschwindig- 
keitsregelung des Fahrzeugs in Abhangigkeit vom Spurver- 
lauf oder von anderen auf der Fahibahn detektierten Objek- 
ten ubemehmen. Im Weiteren konnen die Ist-Daten zur Ab- 
sicherung eines Spurwechsels verwendet werden, in dem sie 
mil weiteren Erkennungssystemen gekoppelt werden. Die 
von der Inferenzmaschine ermittelten Ist-Daten konnen 
auch als Grundlage zur Schatzung der Fahrbahnkriimmung 
in einem nicht von der Kamera erfassten Bereich dienen. 
[0015] Um den erforderlichen Rechenaufwand relativ ge- 
ring zu halten, liefem zweckmaBigerweise das modellge- 
stutzte und das merkmalsbasierte Zustandsschatzverfahren 
VertrauensmaBe, mit denen die Gtite der Zustandsvektorra 
abgeschatzt wird. 

[0016] Bevorzugt liefert die Abweichung des jeweiUgen 
Messkandidaten zur erwarteten SoU-Lage der Fahrbahn im 
Bild ein GiitemaB zur Abschatzung der Giite der jeweiligen 
modellgestutzten und merkmalsbasierten Zustandsschatz- 
verfahren. Liefem die modellgestutzte Ermittlung der Spur- 
begrenzungslinien und die modeUfreie Ermittlung der Spur- 
begrenzungslinien jeweils die Fahrzeuglage und den Spur- 
verlauf beschreibende Zustandsvektoren unierschiedlicher 
Giite, greift die Interferenzmaschine auf ihre der Beurtei- 
lung der Messkandidaten zugrundeliegend^ Daten zuriick 
und entscheidet iibo- die weitere Vorgebensweise bei der Ist- 
Datenermittlung. Die Interferenzmaschine kann dann auf 
den einen oder anderen Zustandsvektor zuruckgreifen oder 
aber auch die vorhandenen Zustandsvektoren korrigieren. 
Diese Vorgebensweise der szenenabhangigen Interpretation, 
bei der die Interferenzmaschine ihre Wissensbasis, also ihre 
Daten- und oder Regelbasis nutzt, ist insbesondere dann 
vorteilhaft, wenn die szenenabhangigen Schwachen eines 
Zustandsschatzverfahrens durch das andere Zustandsschatz- 
verfahren ausgeglichen werden konnen. 
[0017] Vorteilhafterweise dienen Zustandsvektoren eines 
Bildes als Grundlage fiir die Ermittlung von Messkandida- 
ten eines darauffolgenden Bildes. Da die einzelnen Bilder 
der Kamera in sehr kurzen Zeitintervallen der Bildverarbei- 
tungseinrichtung zur VerfUgung stehen und eine Anderung 
des Spurverlaufs in dicscn Zeitintervallen in dor Rcgcl nur 
geringfugig ist, dienen die Ist-Daten des Spurerkennungs- 
verfahrens zur Eingrenzung der Suchbereiche der Spurbe- 
grenzungslinien, in denen Messkandidaten im aktuellen 
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Bild ermitteli werden. 

[0018] Vorzugsweise wird aus einem envarteten Messvek- 
tor und einem enniUelten Messvektor ein Korrekturvektor 
7.ur Hrmitrtung eines 7.U55randsvekr.ors gehildet. Bei diesem 
rekursiven Verfahren werden mit einem Relativ geringen 5 
Rechenaufwand hinreichend genaue Ergebnisse erzielt. 
[0019] ZweckmaBigerweise wird die Ermittlung der Hell- 
Dunkel-Grenze und des Linienbereichs der Spurbegren- 
zungslinien mit einem Qptimalfilter vorgenonunen. Im wei- 
teren wird ZweckmaBigerweise bei dem modellgestutzten lO 
Zustandssch^tzverfahren ein Kabnan HIter» eine Fuzzy-In- 
ferenzmaschine oder ein neuronales Netz verwendet. Das 
Kabnan Filter liefert eine voUst^ndige statistiscbe Charakte- 
risierung fur das Problem einer Schatzung eines dynami- 
schen Systems und schlieBt neben der Charakterisierung des I5 
aktuellen Wissenszustandes den Einfluss aller vergangenen 
Informationen mit ein. Das Kalman Filter befert einen bne- 
aicn, unvcrzcrrtcn und Minimum- Varianz rekursiven Algo- 
rithmus, um den Zustand eines dynamischen Systems aus 
feblerbdiafteten (venrauschten) Daten, die in der Echtzeit 20 
gegeben sind, optimal zu schatzen. Die Kalman Fiber Tbeo- 
rie befert daber dn ausgezeichnetes Werkzeug fiir die Kom* 
binadon von BeobachtungsgroBen mit VorbersagegroBen, 
um die darin entbaltenen zufaUigen Febler zu korrigieren. 
[0020] Nach einer vorteilhaflen Weiterbildung der Erfin- 25 
dung ermittelt die Bildverarbeitungseinrichtung in einem 
bestimmten Zeilenabstand mehrere Messkandidaten fur jede 
der Spurbegrenzungslinien pro Bild in einer konstanten Vbr- 
ausschauentfemung. Da bei einem vertikal gekrUnmiten 
Fabrbabnverlauf nicht vertikale Bildkoordinaten sondem 30 
korrespondierende diskrete Vorschauentfemungen, an de- 
nen bildlokal Kantenelemente extrahiert werden, konstant 
sind, wird der zur Bildauswertung erforderlicbe Rechenauf- 
wand wesendicb veningert und die Notwendigkeit unge- 
nauer numerischer Differentiationen vermieden. Im Zusam- 35 
menhang mit den Daten der Zustandsschatzverfahren wer- 
den die Messkandidaten im Nahbcreich, die in gleicber Ent- 
femung auf der rechten und bnkcn Seite des Bildes extra- 
biert werden, vorverarbeitet und die Abweichung zwischen 
erwarteter und gemessener Bildposition berechnet. Die der- 40 
art gewonnenen &gebnisse werden zur Aktualisierung des 
horizontalen und vertikalen Spurveiiaufs verwendeL 
[0021] Vorteilbafterweise werden aus der Differenz er- 
warteter und gemessener Vektoren gerade und ungerade An- 
teile berechnet, die in dem modellgestutzten Zustands- 45 
schatzverfahren zu Zustandsvektoren verarbeit^ werden. 
Die geraden Anteile liefcm im Zusammenbang mit den rele- 
vanten Fahrzeugdatra eine Aussage beztiglich der horizon- 
talen Spurverlaufsschatzung und die ungeraden Anteile lie- 
fern vertikale Lagedaten des Fabrzeugs auf der Fahrbahn. 50 
Somit stehen neben den Messdaten aucb daraus resultie- 
rende Anteile aus der Abweichung von den Messdaten zur 
Vdiiigung, die zur Berechnung exakter Ergebnisse des mo- 
dellgestutzten ZustandsscbStzverfahren dienen. 
[0022] Zweckm^igerweise liefert dne zweite, nicht un- 55 
bedingt erforderlicbe Kamera in bestimmten Zeitintervallen 
ein Bild eines binter dem Fahrzeug liegenden AuBenraums 
an eine Bildverarbeitungseinrichtung. Durch diese Bilder 
lassen sich genauere Angaben beziigbch einer Spurbreiten- 
anderung der Fahrbahn sowie des Nickwinkels des Fahr- 60 
zeugs errechnen, wobei der Nickwinkel die Darstellung der 
Breite der Spur im Bild beeinflusst 

[0023] £s verstebt sich, dass die vorstehend genannten 
und nachstehend noch zu erl^utemden Meikmale nicht nur 
in der jcwcils angcgcbcncn Kombination, sondem auch in 6S 
anderen Kombinationen verwendbar sind, ohne den Rah- 
men der vorUegenden Erfindung zu verlassen. 
[0024] Die Erfindung wird im folgenden anhand eines 


AusfUhrungsbeispieles unter Bezugnahme auf die zugeh5ri- 
gen Zeichnungen naber eriautert Es zeigen: 
[0025] Fig. 1 ein Ablaufsdiema eines erfindungsge-ma- 
6en Verfahren s, 

[00261 Fig. 2 eine schematische Darstellung eines in einer 
Bildverarbeitungseinrichtung nach Fig. 1 bearbeiteten Bil- 
des und 

[0027] Fig. 3 eine weitere schematische Darstellung eines 
in der Bildverarbeitungseinrichtung nach Fig. 1 bearbeiteten 
Bildes. 

[0028] Bei dem erfindungsgemaBen Verfahren zur Ermitt- 
lung eines Spurverlaufs einer Fahrbahn 1 kommt eine Ka- 
mera 2 zum Einsatz, die in einem Fahrzeug 3 montiert und 
mit einer Bildverarbeitungseinrichtung 4 gekoppelt ist. 
[0029] Die Kamera 2 nimmt in bestimmten 2ieitintervallen 
ein Bild 5 vom frontseitigen AuBenraum des Fabrzeugs 3 
auf. Das Bild 5, das in unterschiedbchen venrauschten Grau- 
stufcn vorUcgt und wahrcnd der Fahrt des Fabrzeugs 3 iibcr 
die Fahrbahn 1 aufgenommen wird, wird in der Bildverar- 
beitungseinrichtung 4 ausgewerteL Auf dem Bild 5 sind 
helle Spurbegrenzungslinien 6, 7 zu erkennen, die an ihren 
Kahten signiflkante Hell-Dunkel-Grenzen 8 zu der dunklen 
Fahrbahn 1 aufweisen. 

[0030] Die Bildverarbeitungseinrichtung 4 ermittelt mit 
signalangepassten Filtem 12, 14 bei den Spurbegrenzungsli- 
nien 6, 7 Messkandidaten 9 an den signifikanten Hell-Dun- 
kel-Grenzen 8 sowie einen Linienbereich der Spurbegren- 
zungslinien 6, 7, der durch nebeneinanderbegende Mess- 
werle mit entsprechenden Vorzeichen gekennzeichnet ist. 
Die Suche nach dem linienbereich der Spurbegrenzungsb- 
nien 6, 7 mit dem signalaogepassten Filter 14 erfolgt zeilen- 
weise iiber das digitalisierte Bild 5 der Bildverarbeitungs- 
einrichtung 4. Bei der Ermittlung der HeU-Dunkel-Grenzen 

8 wird durch ein nKxiellgestiitztes Spurv«fblgungsverfah- 
ren 10, also dem einen Zustandsschatzverfahren, im darauf- 
folgenden Bild ein Suchfenster 11 aufgespannt, in dem die 
Messkandidaten 9 mittels des signalangepassten Filters 12, 
das als ricbtungsselektives Kantenfilter ausgebildet ist er- 
mittelt werden. 

[0031] Diesem modellgestutzten Spurverfolgungsverfah- 
len 10 Uegen neben relevanten Daten des Fabrzeugs, wie Si- 
gnale eines Lenkwinkelsensors und die aktuelle Fahrzeug- 
geschwindigkeit, auch Daten iiber einen ublichen Spurver- 
lauf zugrunde, die zur Uberpriifung der PlausibilitSt des ge- 
messenen Zustands dienen. In Abhangigkeit von diesen Da- 
ten und der Fahigkeit zur modellgestutzten Pradikdon 
spannt die Bildverarbeitungseinrichtung 4 im darauffolgen- 
den Bild das Suchfenster 11 auf, in dem die Messkandidaten 

9 ermittelt werden. Das modellgestutzte Spurverfolgungs- 
verfahren 10 verarbeitet die Messkandidaten 9 unter Be- 
riicksichtigung von Abweichungen zwischen gemessenen 
Daten im Bild und erwarteten Daten aufgrund des Modell- 
wissens mittels eines Kalman-Filters zu Zustandsvektoren. 
Dieses modellgestutzte Zustandsschatzverfahren 10 ver- 
gleicht die Messkandidaten 9 mit den Eigebnissen, die es 
aufgrund seiner ModellvorsteUung erwartet und ermittelt so 
ein KorrekturmaB, das bei der Berechnung der Ist-Daten des 
Spurverlaufs entsprechend beriicksichtigt wird. 

[0032] Dariiber hinaus ist als weiteres Zustandsschatzver- 
fahren ein modellfreies Spurerkennungsverfahren 15 vorge- 
seben, das ebenfalls aus dem Messkandidaten 9 Zustands- 
vektoren beziigbch der Fahrzeuglage und des Spurverlaufs 
errechnet und mit dem modellgestfitzten Spurverfolgungs- 
v^fahren 10 in Wechselwirkung stehen kann. Beide Zu- 
standsschatzverfahren 10, 15 bcfcm Zustandsvektoren zur 
Auswertung an eine biferenzmaschine 13. 
[0033] Die Inferenzmaschine 13 greift zur Auswertung 
und Beurteilung der Zustandsvektoren auf eine >A^ssensba- 
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sis 16 mil einer Regelbasis sowie einer Daienbasis zuriick. 
Die Wissensbasis 16 uinfasst neben Daten bezuglich des 
Momentanzustandes des Fahrzeugs auch Daten hinsichtlich 
der Ausgestaltung von unterschiedlichen Spurverlaufen. 
Dariiber hinaus koppelt die Inferenzmaschine 13 die beiden 
in der Bildverarbeitungseinrichtung 4 ablaufenden Zu- 
standsschatzverfahren 10, 15 zur Erkennung der Hell-Dun- 
kei-Grenzen der Spurbegrenzungslinien 6, 7 derart, dass die 
StSrken des einen Verfahrens die Schwachen des anderen 
Verfahrens ausgleicht. Hierdurch wird auch das Spurerken- 
nungsverfahren 15 so gesteuert, dass der signalangepasste 
Rlter 14 nicht das ganze Bild 5 zeilenweise nach Linienbe- 
reichen absucht, sondem nur in dem Bereich sucht, in dem 
die Wahrscheinlichkeit, die Spurbegrenzungslinien 6, 7 zu 
finden, hinreichend hoch isl. 

[0034] Bei einer vertikalen Krummung der Fahrbahn und 
damit auch der SpurbegrenzungsUnien 6, 7, deren Darstel- 
lung in dor Bildvcrarbcitungsvonichtung 4 als Kurvcn cr- 
folgt, werden die Messkandidaten 9 in variablen Zeilenab- 
st^den i2 ausgewertet, denen jeweils eine konstante Vor- 
ausschauentfemung L2 auf der Fahibahn 1 zugrunde liegt. 
Die Konstanz der diskreten Vorausschauentf«niungen L2 
auf denen Messkandidaten 9 auf den veranderlichen korre- 
spondierenden Bildzeilen 12 entnonunen werden, vermeidet 
sowohl eine nuinerische DiflerenLiation der Abbildungsglei- 
chungen, die zur Berechnung Kabnanverstarkungskoeffi- 
zienten linearisiert vorliegen tniissen als auch die aufwen- 
dige Erstellung korrigierter Abbildungsmatrizen, die in der 
rekursiven Spurverlaufsschatzung in jedem Zyklus emeut 
berechnet werden mussten. 

Bezugszeichraliste 

1 Fahrbahn 

2 Kamera 

3 Fahrzeug 

4 Bildverarbeitungseinrichtung 

5 Bild 

6 Spurbegrenzungslinie 

7 Spurbegrenzungslinie 

8 Hell-Dunkel-Grenze 

9 Messkandidai 

10 modellgestiitztes Spurveifolgungsverfahren 

11 Suchfenster 

12 signalangepasstes Filter 

13 Inferenzmaschine 

14 signalangepasstes Filter 

15 Spurerkennungsverfahren 

16 ^ssensbasis 


Patentanspriiche 

1. Verfahren zur Ermittlung eines Spurverlaufs einer 
beidseitig belle oder dunkle Spurbegrenzungslinien (6, 
7) aufweisenden dunklen bzw. belien Fahrbahn (1) aus 
einem Uber die Fahrbahn (1) fahrenden Fahrzeug (2), 
bei dem 

- mindestens eine Kamera (3) in bestimmten 
Zeitintervallen ein Bild (5) eines vor dem Fahr- 
zeug liegenden AuBenraums an eine Bildverarbei- 
tungseinrichtung (4) liefert, 

- die Bildverarbeitungseinrichtung (4) bei den 
Spurbegrenzungslinien (6) in Abhangigkeit von 
zumindest einem Lenkwinkel sowie einer mo- 
mcntancn Gcschwindigkcit des Fahrzeugs (2) und 
einem vorgegebenen Fahrzeuglage- und Spurver- 
laufsmodell signifikante Hell-Dunkel-Grenzen (8) 
modellgestutzt sowie einen von zwei signifikan- 
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ten Hell-Dunkel-Grenzen (8) begrenzten Linien- 
bcreich zeilenweise ermittelt, 

- Messkandidaten (9) der Hell-Dunkel-Grenzen 
(8) von der Bildverarbeitungseinrichtung (4) in je- 
weils mindestens einem modellgestiitzten und 
merkmalsbasierten Zustandsschatz verfahren (10, 
15) zu Zustandsvektoren verarbeitet werden, die 
die Fahrzeuglage und den Spurverlauf beschrei- 
ben und 

- eine Inferenzmaschine (13) aus Zustandsvekto- 
ren die Ist-Daten des Spurverlaufs ermittelt sowie 
das modellgestiitzte und das merkmalsbasierte 
Zustandsschatzverfahren (10, 15) anhand vorge- 
gebener Daten vergleicht, beurteilt und ggf. korri- 
giert. 

2. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass das modellgestuizte und das merkmalsba- 
sierte Zustandsschatzverfahren (10, 15) Vcrtraucns- 
maSe liefem, mit denen die Gute der Zustandsvektoren 
abgeschatzt wird. 

3. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Abweichung des jeweiligen Messkandida- 
ten (9) zur erwarteten Soll-Lage der Fahrbahn (1) im 
Bild,(5) ein GutemaB zur Abschatzung der Giite der je- 
weiligen HLodellgesLulzlen und nierkiiialsbasierten Zu- 
standsschatzverfahren (10, 15) liefert 

4. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass Zustandsvektoren eines Bildes (5) als Grund- 
lage fur die Emiitdung von Messkandidaten (9) eines 
darauffolgenden Bildes dienen. 

5. Verfahren nach einem der Anspruche 1 bis 3, da- 
durch gekennzeicbnet, dass aus einen erwaneten Mess- 
vektor und einem ermittelten Messvektor ein Korrek- 
turvektor zur Ermittlung eines Zustandsvektors gebil- 
det wird. 

6. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Ermittlung der Hell-Dunkel-Grenze (8) 
und des Linienbereichs der Spurbegrenzungslinien (6, 
7) mit einem Opdmalfilter (12, 14) vorgenommen 
wird. 

7. Verfahren nach einem der Anspruche 1 bis 5, da- 
durch gekennzeichnet, dass bei dem modellgestutzten 
Zustandsschatzverfahren (10) ein Kalman Filter, eine 
Fuzzy-Inferenzmaschine oder ein neuronales Netz ver- 
wendet wird. 

8. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass die Bildverarbeitungseinrichtung (4) in einem 
bestimmten Zeilenabstand mehrere Messkandidaten 
(9) fur jede der Spurbegrenzungslinien (6, 7) pro Bild 
(5) in einer konstanten Vorausschauentfemung ennit- 
telt. 

9. Verfahren nach einem der Anspruche 1 bis 8, da- 
durch gekennzeichnet, dass aus der Differenz erwarte- 
ter und gemessener Vektoren gerade und ungerade An- 
teile berechnet werden, die in dem modellgestutzten 
Zustandsschatzverfahren (10) zu Zustandsvektoren 
verarbeitet werden. 

10. Verfahren nach Anspruch 1, dadurch gekennzeich- 
net, dass eine zweite Kamera in bestimmten Zeitint^- 
vallen ein Bild (5) eines hinter dem Fahrzeug (3) lie- 
genden AuBenraums an eine Bildverarbeitungseinrich- 
tung (4) liefert. 

11. Vonichtung zur Ennittlung eines Spurverlaufs ei- 
ner beidseitig helle oder dunkle Spurbegrenzungslinien 
(6, 7) aufweisenden dunklen bzw. hcUcn Fahrbahn (1) 
aus einem uber die Fahrbahn (1) fahrenden Fahrzeug 
(2), bestehend aus 

- mindestens einer Kamera (3), die in bestimm- 
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ten Zeitinterv alien ein Bild (5) eines vor dem 
Fahrzeug liegenden AuCenraums an eine Bildver- 
arbeitungseinrichtung (4) liefert, 

- einer Bildverarbeitungseinrichtung (4), die in 
Abhangigkeit von zumindest. einem Lenkwinkel 5 
sowie einer momentanen Geschwindigkeit des 
Fahrzeugs (2) und einem vorgegebenen Fahrzeug- 
lage- und Spurverlaufsmodeil signifikante Hell- 
Dunkel-Grenzen (8) modellgestiitzt sowie einen 
von zwei signifikanten Hell-Dunkel-Grenzen (8) lO 
begrenzten Linienbereich zeilenweise ermittelt 
und die Messkandidatra (9) der Hell-Dunkel- 
Grenzen (8) in jeweils mindestens einem modell- 
gestiitzten und merkmalsbasierten 2^stands- 
schatzverfahren (10, 15) zu Zustandsvektoren ver- 15 
arbeitet, welche die Fahrzeuglage und den Spur- 
verlauf beschreiben und 

- cincr Infcrcnzmaschinc (13), die aus Zustands- 
vektoren die Isl-Daten des Spurverlaufs ermittelt 
sowie das modellgestiitzte und das mericmalsba- 20 
siertc Zustandsschatzverfahren (10, 15) anhand 
vorgegebener Daten vergleicht, beurteilt und ggf. 
korrigiert. 
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